Contribution à la modélisation des métadonnées associées aux documents multimédias et à leur enrichissement par l’usage

De nos jours, ce ne sont pas que les collections multimédias qui deviennent de plus en plus volumineuses, mais aussi les métadonnées qui les décrivent. L’extraction des métadonnées est très coûteuse en consommation de ressources. Cela pose le problème de la gestion efficace de ces grands volumes de données, en minimisant cette consommation. Le fait que les utilisateurs sont en constante interaction avec les documents multimédias et les métadonnées complique encore plus cette gestion. Dans cette thèse, nous étudions le problème de la gestion de métadonnées en intégrant les interactions des utilisateurs à deux niveaux: dans le processus de création de métadonnées et dans leur enrichissement. La grande variété de standards et normes de métadonnées existants ne sont pas interopérables. Les solutions proposées à ce problème d’interopérabilité se sont focalisées sur la création d’ontologies qui décrivent les contenus multimédias du point de vue sémantique, sans forcément prendre en compte les standards de métadonnées et d’autres informations de plus bas niveau sur les documents. Pour résoudre ce problème nous proposons un format de métadonnées qui intègre les standards et normes les plus utilisés et qui est flexible et extensible en structure et en vocabulaire. Dans le cadre d’un système de gestion des contenus multimédias, le processus d’indexation est celui qui consomme le plus de ressources, à travers les algorithmes d’indexation qui extraient les métadonnées. Dans les systèmes classiques, cette indexation est accomplie avec un ensemble d’algorithmes d’indexation figé dans le temps, sans se soucier de la consommation des ressources ni de l’évolution des besoins de l’utilisateur. Pour prendre en compte les besoins que l’utilisateur spécifie dans sa requête, afin de n’extraire que les métadonnées nécessaires et ainsi limiter d’un côté le volume de métadonnées à gérer et de l’autre la consommation des ressources, nous proposons de répartir le processus d’indexation en deux phases: une fois à l’acquisition des contenus (indexation implicite), et une deuxième fois, si besoin, au moment de l’exécution de la requête de l’utilisateur (indexation explicite) en ayant recours à une liste d’algorithmes d’indexation déterminée principalement en fonction de la requête de l’utilisateur. L’utilisateur est de plus en plus pris en compte dans les systèmes multimédias à travers ses interactions avec le système et le document. Nous proposons d’aller plus loin dans la prise en compte de l’utilisateur, en considérant ses interactions avec les différentes parties du document mais aussi avec les métadonnées qui décrivent le document. Cela a été réalisé à travers l’extension du format de métadonnées proposée, par l’ajout d une température à chaque élément du format, qui varie dans le temps, étant calculée en fonction de la façon dont l’utilisateur interagit avec le document, mais aussi avec les métadonnées dans une période de temps. Nous avons validé nos propositions dans deux domaines différents: la vidéo surveillance et le commerce électronique. Le projet LINDO nous a permis la validation du format des métadonnées et de la sélection des algorithmes d’indexation dans le cadre de l’indexation explicite, dans le cadre de la vidéo surveillance. Dans le domaine du commerce électronique, nous avons exploité les interactions des utilisateurs réels avec un site de vente en ligne pour calculer la température des métadonnées associées aux pages du site pendant une période de deux mois. Nous avons utilisé cette température pour réaliser le reclassement des résultats obtenus pour une requête de l’utilisateur. Nous avons réalisé un test utilisateur sur une vingtaine de personnes. Ce test montre que pour certaines requêtes de l’utilisateur ce reclassement des résultats aide les utilisateurs à trouver les informations recherchés plus vite. Ce travail a permis de répondre au problème de la prise compte de l’utilisateur dans le processus de gestion des documents multimédias, en proposant: un modèle de métadonnées qui intègre les standards de métadonnées les plus utilisés; l’indexation différée des contenus multimédias (indexation implicite et explicite); l’enrichissement des métadonnées en considérant les interactions des utilisateurs avec le système, les documents multimédias et les métadonnées

Création et utilisation d'un résumé de métadonnées pour interroger efficacement des collections multimédias distribuées

National audienceActuellement, de nombreux contenus multimédias sont créés à partir de plusieurs sources et stockés dans des environnements distribués. Pour éviter de centraliser l'ensemble des métadonnées d'un système et répondre efficacement à une requête d'un utilisateur, nous proposons d'engendrer et d'utiliser un résumé de métadonnées. Ce dernier aura pour fonction de localiser certaines unités de stockage qui contiennent les données multimédias désirées. L'originalité de ce résumé réside en le fait qu'il soit construit automatiquement sur la base des métadonnées extraites durant l'indexation. Dans cet article, nous montrons comment construire un tel résumé et illustrons notre approche au moyen de technologies issues du Web Sémantique, telles que RDF et SPARQL pour représenter et interroger des métadonnées sémantiquement définies

Mobile objects and sensors within a video surveillance system: Spatio-temporal model and queries

International audienceThe videos recorded by video surveillance systems represent a key element in a police inquiry. Based on a spatio-temporal query specified by a victim, (e.g., the trajectory of the victim before and after the aggression) the human operators select the cameras that could contain relevant information and analyse the corresponding video contents. This task becomes cumbersome because of the huge volume of video contents and the cameras' mobility. This paper presents an approach, which assists the operator in his task and reduces the research space. We propose to model the cameras' network (fixed and mobile cameras) on top of the city's transportation network. We consider the video surveillance system as a multilayer geographic information system, where the cameras are situated into a distinct layer, which is added on top of the other layers (e.g., roads, transport) and is related to them by the location. The model is implemented in a spatio-temporal database. Our final goal is that based on a spatio-temporal query to automatically extract the list of cameras (fixed and mobile) concerned by the query. We propose to include this automatically computed relative position of the cameras as an extension of the standard ISO 22311

Vers une extraction contextuelle des métadonnées multimédias

International audienceLa diversité des contenus multimédias a engendré une diversité croissante des algorithmes d’indexation. L’exécution de tous les algorithmes dont on dispose sur tous les contenus multimédias disponibles surcharge le système et extrait des informations qui peuvent ne pas être utilisées. Dans ce papier nous proposons une technique d’indexation différée, distribuée et adaptative dans un système d’information multimédia distribué. Les contenus multimédias sont analysés en deux pas : au moment de l’acquisition des contenus par des algorithmes (implicites) qui extraient des métadonnées génériques (e.g., présence de personne) et au moment de la requête par des algorithmes (explicites)qui analysent les contenus pour extraire des informations plus poussés (e.g.,reconnaissance des personnes). La sélection des deux ensembles d’algorithmes (implicites et explicites) est réalisée en fonction des requêtes des utilisateurs et des performances des algorithmes dans différents contextes

Contribution to the modeling of metadata associated to multimedia documents and to their enrichment through the usage

De nos jours, ce ne sont pas que les collections multimédias qui deviennent de plus en plus volumineuses, mais aussi les métadonnées qui les décrivent. L’extraction des métadonnées est très coûteuse en consommation de ressources. Cela pose le problème de la gestion efficace de ces grands volumes de données, en minimisant cette consommation. Le fait que les utilisateurs sont en constante interaction avec les documents multimédias et les métadonnées complique encore plus cette gestion. Dans cette thèse, nous étudions le problème de la gestion de métadonnées en intégrant les interactions des utilisateurs à deux niveaux: dans le processus de création de métadonnées et dans leur enrichissement. La grande variété de standards et normes de métadonnées existants ne sont pas interopérables. Les solutions proposées à ce problème d’interopérabilité se sont focalisées sur la création d’ontologies qui décrivent les contenus multimédias du point de vue sémantique, sans forcément prendre en compte les standards de métadonnées et d’autres informations de plus bas niveau sur les documents. Pour résoudre ce problème nous proposons un format de métadonnées qui intègre les standards et normes les plus utilisés et qui est flexible et extensible en structure et en vocabulaire. Dans le cadre d’un système de gestion des contenus multimédias, le processus d’indexation est celui qui consomme le plus de ressources, à travers les algorithmes d’indexation qui extraient les métadonnées. Dans les systèmes classiques, cette indexation est accomplie avec un ensemble d’algorithmes d’indexation figé dans le temps, sans se soucier de la consommation des ressources ni de l’évolution des besoins de l’utilisateur. Pour prendre en compte les besoins que l’utilisateur spécifie dans sa requête, afin de n’extraire que les métadonnées nécessaires et ainsi limiter d’un côté le volume de métadonnées à gérer et de l’autre la consommation des ressources, nous proposons de répartir le processus d’indexation en deux phases: une fois à l’acquisition des contenus (indexation implicite), et une deuxième fois, si besoin, au moment de l’exécution de la requête de l’utilisateur (indexation explicite) en ayant recours à une liste d’algorithmes d’indexation déterminée principalement en fonction de la requête de l’utilisateur. L’utilisateur est de plus en plus pris en compte dans les systèmes multimédias à travers ses interactions avec le système et le document. Nous proposons d’aller plus loin dans la prise en compte de l’utilisateur, en considérant ses interactions avec les différentes parties du document mais aussi avec les métadonnées qui décrivent le document. Cela a été réalisé à travers l’extension du format de métadonnées proposée, par l’ajout d une température à chaque élément du format, qui varie dans le temps, étant calculée en fonction de la façon dont l’utilisateur interagit avec le document, mais aussi avec les métadonnées dans une période de temps. Nous avons validé nos propositions dans deux domaines différents: la vidéo surveillance et le commerce électronique. Le projet LINDO nous a permis la validation du format des métadonnées et de la sélection des algorithmes d’indexation dans le cadre de l’indexation explicite, dans le cadre de la vidéo surveillance. Dans le domaine du commerce électronique, nous avons exploité les interactions des utilisateurs réels avec un site de vente en ligne pour calculer la température des métadonnées associées aux pages du site pendant une période de deux mois. Nous avons utilisé cette température pour réaliser le reclassement des résultats obtenus pour une requête de l’utilisateur. Nous avons réalisé un test utilisateur sur une vingtaine de personnes. [...]Nowadays, not only multimedia collections become larger, but also the metadata describing them. The metadata extraction is the most ressource consumming process in the management of multimedia collections. This raises the problem of the efficient management of these large data volumes while minimizing ressource consumption. Users’ constant interactions with multimedia documents and metadata complicate this management process. In this thesis, we adress this problem of metadata management by integrating users’ interactions at two levels: in the process of metadata creation and in their enrichment. The existing metadata standards are heterogenous and not interoperable. The proposed solutions for this interoperability problem focused on creating ontologies that describe the multimedia contents from a semantic point of view, without necessarily taking into account metadata standards and other low level information. To solve this problem, we propose a metadata format that integrates the most widely used metadata standards and which is flexible and extensible in structure and vocabulary. In a multimedia management system, the indexing process is the most resource consumming, through the indexing algorithms that extract metadata. In conventional systems, the indexing is accomplished with a fixed set of indexing algorithms, without considering the resource consumption and users’ changing needs. To take into account the user’s needs, specified in his query, in ordre to extract only the necessary metadata and thus, on one side, to limit the metadata volume and on the other to reduce the resource consumption, we propose to split the indexing process into two phases: first time, at the contents acquisition time (i.e., implicit indexation), and, a second time, if necessary, at the query execution time (i.e., explicit indexation), employing a list of indexing algorithms determined mainly according to the user’s query. The users are more and more taken into account in multimedia systems through their interactions with the system and the documents. We propose to go further in this consideration, by taking into account users’interactions with different parts of the document, and also with the document’s metadata. This was achieved through the extention of the proposed metadata format, by associating a temperature to each metadata element. This temperature is calculated according to the users’ interactions with the document and with the metadata, in a time period. We have validated our proposals in two different domains: vidéosurveillance and e-commerce. The LINDO project has allowed us to validate the metadata format and indexing algorithms selection in the context of explicit indexation, for a video surceillance use case. For the e-commerce, we have used an online shopping site and the interactions of its real users, for a two months period, to calculate the temperature of the metadata associated to the web pages describing the site’s products. We have used this temperature for reranking the results obtained for a user’s query. We conducted a user study with twenty people, which shows that, for some users’ queries, the results reranking helps the users to find faster the desired information. This thesis has addressed the problem of taking into account the user in the multimedia documents management by: (1 )proposing a model metadata that integrates the most used metadata standards; (2) spliting the multimedia indexing in two steps ( implicit and explicit indexation); (3) enriching the metadata according to the users’ interactions with the system, the multimedia documents and the metadata

Towards a User-aware Enrichment of Multimedia Metadata

International audienceA recent trend in multimedia information retrieval systems is the integration of users, by their preferences and interests, in the retrieval process. Generally, such systems consider the user only after the query’s execution, while the results’ presentation. We propose to consider the user as a source of metadata, by exploiting his behaviour and to enrich the document’s metadata with a usage metadata. We introduce the concept of temperature, associated to each metadata descriptor, which denotes the popularity of the multimedia document’s metadata. An algorithm for the computation, the increase and the decrease of this temperature is described in details. We present also how this algorithm can be used for the enrichment of each metadata descriptor according to the user’s interactions with the multimedia content and the metadata

A Generic Framework for the Integration of Heterogeneous Metadata Standards into a Multimedia Information Retrieval System

International audienceThe number and the heterogeneity of multimedia contents handled by information systems are increasing steeply. These contents are indexed in order to produce some metadata that are used during the retrieval process. However, several existing metadata standards can be used for describing the multimedia contents and choosing a particular one does not cover all the metadata features. A solution is the mixing of these standards and formats, but this does not ensure interoperability. To overcome this problem, we have proposed a metadata framework that could encapsulate the most common metadata standards. In this paper we present the validation of this framework in the context of the LINDO project

A Web Services Orchestration Solution for Semantic Multimedia Indexing and Retrieval

International audienceIn this article we are presenting a solution for the problem of combining various indexation algorithms in order to acquire a semantic multimedia indexation and to provide responses to the user complex queries. The challenge of this problem concerns the big heterogeneity of the multimedia indexation algorithms and the weak semantic aspect they address. Our solution considers a generic interface for the indexation algorithms, an implementation as Web services, as well as a semantic description in terms of WSMO (Web Service Modeling Ontology) of their functionality and orchestration. Original contribution of the article concerns the idea of organizing the various multimedia metadata types into a generic structure, used to express the user queries, the algorithms’ generic interface, as well as the algorithms’ WSMO metadata. This approach facilitates the definition of algorithm combination rules, and enables the reduction of the multimedia retrieval task to a metadata matching process

Managing and querying efficiently distributed semantic multimedia metadata collections

International audienceCurrently, many multimedia contents are acquired and stored in real time and on different locations. In order to retrieve efficiently the desired information and to avoid centralizing all metadata, we propose to compute a centralized metadata resume, i.e., a concise version of the whole metadata, which locates some desired multimedia contents on remote servers. The originality of this resume is that it is automatically constructed based on the extracted metadata. In this paper, we present a method to construct such resume and illustrate our framework with current Semantic Web technologies, such as RDF and SPARQL for representing and querying semantic metadata. Some experimental results are provided in order to show the benefits of indexing and retrieving multimedia contents without centralizing multimedia contents or their associated metadata, and to prove the efficiency of a metadata resume

Optimimal resources utilization for indexing within a distributed multimedia retrieval system: an implementation for a video surveillance use case

International audienceEffective and flexible solutions for enabling reduced resource consumption and handling content and associated processing (indexing algorithms) diversity (in terms of location, technical characteristics, execution constraints, requested features) are essential in multimedia management systems. In this paper we present a distributed multimedia retrieval system that enables efficient and effective content processing and access. Though the system’s architecture is a generic one, in order to explain system’s functionalities we will present an instance of the architecture for a video surveillance use case. The proposed system addresses all important topic research concerning this type of systems (architecture, indexing, query) and proposes a novel two steps indexing approach (at acquisition time: implicit indexing and at query time: explicit indexing). We also present in this article how the user access management is done